We present RAVEn, a self-supervised multi-modal approach to jointly learn visual and auditory speech representations. Our pre-training objective involves encoding masked inputs, and then predicting contextualised targets generated by slowly-evolving momentum encoders. Driven by the inherent differences between video and audio, our design is asymmetric w.r.t. the two modalities' pretext tasks: Whereas the auditory stream predicts both the visual and auditory targets, the visual one predicts only the auditory targets. We observe strong results in low- and high-resource labelled data settings when fine-tuning the visual and auditory encoders resulting from a single pre-training stage, in which the encoders are jointly trained. Notably, RAVEn surpasses all self-supervised methods on visual speech recognition (VSR) on LRS3, and combining RAVEn with self-training using only 30 hours of labelled data even outperforms a recent semi-supervised method trained on 90,000 hours of non-public data. At the same time, we achieve state-of-the-art results in the LRS3 low-resource setting for auditory speech recognition (as well as for VSR). Our findings point to the viability of learning powerful speech representations entirely from raw video and audio, i.e., without relying on handcrafted features. Code and models will be made public.

Due to its importance in facial behaviour analysis, facial action unit (AU) detection has attracted increasing attention from the research community. Leveraging the online knowledge distillation framework, we propose the ``FANTrans" method for AU detection. Our model consists of a hybrid network of convolution and transformer blocks to learn per-AU features and to model AU co-occurrences. The model uses a pre-trained face alignment network as the feature extractor. After further transformation by a small learnable add-on convolutional subnet, the per-AU features are fed into transformer blocks to enhance their representation. As multiple AUs often appear together, we propose a learnable attention drop mechanism in the transformer block to learn the correlation between the features for different AUs. We also design a classifier that predicts AU presence by considering all AUs' features, to explicitly capture label dependencies. Finally, we make the attempt of adapting online knowledge distillation in the training stage for this task, further improving the model's performance. Experiments on the BP4D and DISFA datasets demonstrating the effectiveness of proposed method.

Recognizing a word shortly after it is spoken is an important requirement for automatic speech recognition (ASR) systems in real-world scenarios. As a result, a large body of work on streaming audio-only ASR models has been presented in the literature. However, streaming audio-visual automatic speech recognition (AV-ASR) has received little attention in earlier works. In this work, we propose a streaming AV-ASR system based on a hybrid connectionist temporal classification (CTC)/attention neural network architecture. The audio and the visual encoder neural networks are both based on the conformer architecture, which is made streamable using chunk-wise self-attention (CSA) and causal convolution. Streaming recognition with a decoder neural network is realized by using the triggered attention technique, which performs time-synchronous decoding with joint CTC/attention scoring. For frame-level ASR criteria, such as CTC, a synchronized response from the audio and visual encoders is critical for a joint AV decision making process. In this work, we propose a novel alignment regularization technique that promotes synchronization of the audio and visual encoder, which in turn results in better word error rates (WERs) at all SNR levels for streaming and offline AV-ASR models. The proposed AV-ASR model achieves WERs of 2.0% and 2.6% on the Lip Reading Sentences 3 (LRS3) dataset in an offline and online setup, respectively, which both present state-of-the-art results when no external training data are used.

最近，在一系列独立作品中提出了几种培训策略和时间模型，用于隔离单词唇读。但是，尚未探索结合最佳策略和调查每个策略的影响的潜力。在本文中，我们系统地研究了最先进的数据增强方法，时间模型和其他培训策略的性能，例如自我验证和使用单词边界指标。我们的结果表明，时间掩盖（TM）是最重要的增强，其次是混合和密集连接的时间卷积网络（DC-TCN）是隔离单词唇读的最佳时间模型。使用自我验证和单词边界指标也是有益的，但程度较小。上述所有方法的组合导致分类精度为93.4％，这比LRW数据集的当前最新性能的绝对提高了4.6％。通过预先培训其他数据集，可以将性能进一步提高到94.1％。对各种培训策略的错误分析表明，绩效通过提高难以认可词的分类准确性来提高。

视频到语音的合成（也称为Lip-speech）是指沉默的唇部动作转换为相应的音频。由于其自我监督的性质（即可以在无需手动标记的情况下训练）以及在线可用的视听数据的收集量不断增长，因此该任务受到了越来越多的关注。尽管有这些强烈的动机，现代视频到语音的作品主要集中在词汇和环境中具有很大限制的中小型语料库。在这项工作中，我们引入了一个可扩展的视频到语音框架，该框架由两个组件组成：视频到光谱图预测器和一个预训练的神经声码器，该框架将MEL频谱图转换为波形音频。我们在LRW上取得了最先进的效果，并且在LRW上的表现要优于以前的方法。更重要的是，通过使用简单的FeedForward模型专注于频谱图预测，我们可以有效地将方法扩展到非常不受约束的数据集：据我们所知，我们是第一个在具有挑战性的LRS3数据集上显示出可理解的结果。

本文提出了一种使用视频中心化的变压器在视频中面部聚类的新方法。以前的作品经常采用对比度学习来学习框架级表示，并使用平均池来汇总沿时间维度的特征。这种方法可能无法完全捕获复杂的视频动态。此外，尽管在基于视频的对比学习方面取得了最新进展，但很少有人试图学习一个自我监视的聚类友好的面部表现，从而使视频面部聚集任务受益。为了克服这些局限性，我们的方法采用了变压器直接学习视频级表示，可以更好地反映视频中面部的时间变化属性，而我们还建议一个以视频为中心的自我监督框架来训练变压器模型。我们还调查了以自我为中心视频的面部聚类，这是一个快速出现的领域，尚未在与面部聚类有关的作品中进行研究。为此，我们介绍并发布了第一个名为EasyCom-Clustering的大规模以egipentric视频群集群数据集。我们在广泛使用的大爆炸理论（BBT）数据集和新的easycom群集数据集上评估了我们的建议方法。结果表明，我们以视频为中心的变压器的性能超过了两个基准测试的所有先前最新方法，对面部视频表现出了自我牵强的理解。

视频到语音是从口语说话视频中重建音频演讲的过程。此任务的先前方法依赖于两个步骤的过程，该过程从视频中推断出中间表示，然后使用Vocoder或波形重建算法将中间表示形式解码为波形音频。在这项工作中，我们提出了一个基于生成对抗网络（GAN）的新的端到端视频到语音模型，该模型将口语视频转换为波形端到端，而无需使用任何中间表示或单独的波形合成算法。我们的模型由一个编码器架构组成，该体系结构接收原始视频作为输入并生成语音，然后将其馈送到波形评论家和权力评论家。基于这两个批评家的对抗损失的使用可以直接综合原始音频波形并确保其现实主义。此外，我们的三个比较损失的使用有助于建立生成的音频和输入视频之间的直接对应关系。我们表明，该模型能够用诸如网格之类的受约束数据集重建语音，并且是第一个为LRW（野外唇读）生成可理解的语音的端到端模型，以数百名扬声器为特色。完全记录在“野外”。我们使用四个客观指标来评估两种不同的情况下生成的样本，这些客观指标衡量了人工语音的质量和清晰度。我们证明，所提出的方法在Grid和LRW上的大多数指标上都优于以前的所有作品。

扩张的卷曲广泛用于深度语义分段模型，因为它们可以扩大过滤器的接收领域而不增加额外的权重，也不牺牲空间分辨率。然而，正如扩张的卷积滤波器在语义上有意义的轮廓上没有关于像素的位置知识，它们可能导致对象边界的模糊预测。另外，虽然扩张过滤器可以扩展其接收领域，但是采样像素的总数保持不变，这通常包括一小部分接收领域的总面积。灵感来自人类视觉系统中的横向抑制（LI）机制，我们提出了具有横向抑制（LI-CONVS）的扩张卷积以克服这些限制。介绍锂机制提高了卷积滤波器对语义对象边界的敏感性。此外，由于LI-DIVS也隐含地考虑从横向禁止的区域中的像素考虑，因此它们还可以以密度刻度提取特征。通过将锂致常规集成到Deeplabv3 +架构中，我们提出了横向抑制的不受欢迎的空间金字塔汇集（Li-Aspp），横向抑制的Mobilenet-V2（Li-MnV2）和横向抑制的Reset（Li-Reset）。在三个基准数据集（Pascal VOC 2012，Celebamask-HQ和Ade20k）的实验结果表明，我们的李氏分割模型越来越突出了所有这些的基线，从而验证了拟议的LI-CONN的有效性和一般性。

我们介绍了Sparrow，这是一个寻求信息的对话代理，与提示的语言模型基线相比，训练有素，更有帮助，正确和无害。我们使用从人类反馈中的强化学习来培训我们的模型，以帮助人类评估者判断代理人的行为。首先，为了使我们的代理人更有帮助和无害，我们将良好对话的要求分解为代理人应遵循的自然语言规则，并分别向评估者询问每个规则。我们证明，这种崩溃使我们能够收集对代理行为的更多针对性的人类判断，并允许更有效的规则条件奖励模型。其次，我们的代理商在收集对模型声明的偏好判决时提供了支持事实主张的来源的证据。对于事实问题，麻雀提供的证据支持了78％的时间。比基线比基线更享受麻雀，同时对人类的对抗性探测更具弹性，在探测时只有8％的时间违反了我们的规则。最后，我们进行了广泛的分析，表明尽管我们的模型学会遵守我们的规则，但它可以表现出分布偏见。

代理商必须连续监视其伴侣的情感状态，以了解和参与社交互动。但是，评估情感识别的方法不能说明在情感状态之间的阻塞或过渡期间可能发生的分类绩效的变化。本文解决了在婴儿机器人相互作用的背景下影响分类表现的时间模式，在这种情况下，婴儿的情感状态有助于他们参与治疗性腿部运动活动的能力。为了支持视频记录中面部遮挡的鲁棒性，我们训练了婴儿使用面部和身体功能的识别分类器。接下来，我们对表现最佳模型进行了深入的分析，以评估随着模型遇到丢失的数据和不断变化的婴儿影响，性能如何随时间变化。在高度信心提取功能的时间窗口期间，经过训练的面部功能的单峰模型与在面部和身体特征训练的多模式模型相同的最佳性能。但是，在整个数据集上评估时，多模型模型的表现优于单峰模型。此外，在预测情感状态过渡并在对同一情感状态进行多个预测后改善时，模型性能是最弱的。这些发现强调了将身体特征纳入婴儿的连续影响识别的好处。我们的工作强调了随着时间的流逝和在存在丢失的数据的存在时，评估模型性能变异性的重要性。